Grounded Product Understanding in Livestream Videos
直播视频中的产品定位理解
🧭 多模态视频产品理解与时刻定位
Kuaishou Technology · Institute of AI for Industries, Chinese Academy of Sciences
提出GPUB基准和UniPro模型，联合评估产品检索与时刻定位，大幅提升直播视频产品理解性能
📌 工作参考价值（4 点）
- 直播电商中产品信息分散在多个非连续片段，仅做产品检索或片段定位无法满足自动剪辑、摘要等需求。可借鉴GPUB的联合任务定义，在业务中构造“产品-片段”对齐数据，训练模型同时输出产品ID和对应时刻，直接用于产品讲解片段自动生成。
- UniPro采用共享多模态编码器同时处理视频和产品目录，并强制学习产品对齐和时间结构化表示，相比分离式两阶段方案能更好地利用产品与时刻的对应关系。实际部署中可复用该架构，在召回或粗排阶段同时输出产品候选和关键片段，减少级联误差。
- 面对31K规模产品目录，UniPro的候选集构建和负采样策略值得参考：可利用直播中出现的产品时序信息构造hard negative，提升模型区分相似产品的能力，尤其适用于时尚等非标品类。
- 评估指标Pair mAP@.3和Joint R@1@.3同时衡量产品检索和时刻定位的联合精度，比单一指标更能反映真实业务效果，建议在类似多模态理解任务中采用。